NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference
NeoMME：单塔多模态多语言基础编码器，用于高效微调与推理
🧭 多模态原生单塔编码器与视觉文档检索
H Company
提出单塔多模态多语言编码器，用掩码离散扩散预训练，视觉文档检索精度高且吞吐翻倍
📌 工作参考价值（4 点）
- 在电商商品图文检索/视觉搜索中，可以尝试用单塔多模态编码器（图像 patchify + 2层MLP 与文本 token 一起输入 bidirectional Transformer）替代双塔或 VLM 编码器，降低推理延迟和参数规模；NeoMME-260M 在同尺寸下吞吐约为 ColModernVBERT 2x，适合对实时性有要求的召回/粗排。
- 联合训练 dense 和 late-interaction heads，并在索引侧使用层级 token pooling + 非对称量化，可将多模态文档 embedding 压缩 255x 且保留 >95% nDCG@10；该思路可直接迁移到海量商品/广告素材库的向量存储成本优化。
- 多语言原生训练 + 16K 上下文，适合跨境业务中多语言商品标题/详情页与查询的匹配，无需为每种语言单独建塔；也支持编码两张 4K 图，能处理长图文详情页。
- 如果业务已用 ColPali/Qwen-VL 做视觉文档 RAG，可评估用该开源编码器作为更轻量的检索底座，减少 VLM 在非生成式检索任务上的额外开销。